AskStream：流式视频理解不确定性下何时与如何主动提问
🧭 多模态流式视频主动交互智能体
Institute of Automation, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Hunan Normal University · Minzu University of China
引入主动 ask 动作的流式视频理解基准，评估模型在视频与用户不确定性下的提问与回答策略
📌 工作参考价值（4 点）
- 在电商直播、视频客服等流式交互场景中，可把 Agent 的动作空间从 wait/answer 扩展为 wait/ask/answer：当模型对用户意图或视频内容置信度低时，主动发起澄清问题，避免停止等待或生成幻觉答案。
- 参考 AskStream 的帧级时间窗标注，把“何时提问”建模为序列决策问题；在真实流式视频数据上标注每一帧或每一时间窗应执行 wait/ask/answer，用于训练主动交互策略。
- 设计类似 Ask-F1 的评估指标，同时考虑回答质量、提问代价与等待收益，而不只看最终答案准确率；在推荐/广告交互中可迁移为“澄清问题的性价比”，平衡打扰率与信息增益。
- 落地成本提示：该基准集中于视频理解，工业界需先构建领域内不确定性标注，但可复用其问题定义与评测框架来低成本启动。
KeyRec：面向流式与长视频理解的有界视觉记忆框架
🧭 多模态长视频流式推理视觉记忆压缩
University of Virginia · Google
训练免费的视觉记忆框架，用事件银行与近期缓存分离存储，在固定预算下高效压缩长视频视觉 token
📌 工作参考价值（4 点）
- 借鉴“近期缓存 + 事件银行”的双层记忆结构：在电商用户行为序列或会话流建模中，可保留最近交互的细粒度 token（如点击、浏览），同时将较旧历史压缩为结构化事件表示（如会话摘要、关键行为节点），避免每次推理全量回放，降低长序列注意力成本。
- 采用 query-agnostic writing + query-dependent readout 的两阶段设计：离线阶段持续更新记忆，查询到来时用轻量 text-only router 自适应分配固定 readout 预算到近期与事件记忆，无需重处理历史帧。可在 Agent 记忆系统中应用，控制上下文窗口，降低 LLM API 费用。
- 事件合并与逐出策略（add-merge-evict）可用于用户兴趣画像维护：根据 novelty 决定是否新增事件，合并相似兴趣，淘汰过时兴趣，保持画像有界且信息密度高。
- 对于直播电商、商品视频理解等场景，可复用 KeyRec 的视觉 token 压缩思路，仅保留 10% 的 visual token 预算即可保持接近密集处理的性能，显著降低推理成本。
超越检索：面向流式视频理解的渐进潜在记忆演化
🧭 流式视频 MLLM 的渐进潜在记忆
Nanjing University of Science and Technology · Ant Group · National University of Singapore · The Chinese University of Hong Kong
提出 LatentStream，将流式视频记忆从 store-and-retrieve 转为 retrieve-and-internalize，通过层级记忆与渐进置信度优化取得 SOTA
📌 工作参考价值（4 点）
- 借鉴“查询无关层级压缩 + 查询相关检索内化”两段式记忆架构：电商用户行为序列建模可先用无查询的自适应聚类（如 Jenks natural breaks）压缩长短期兴趣，收到请求后再用 query 检索相关证据并内部化为固定长度 latent 表示，平衡内存与推理精度。
- 固定内存预算下的短/中/长期分层组织可迁移到 Agent 或在线推荐系统的会话记忆管理，避免历史状态无限增长，适合延迟敏感的长序列处理。
- Progressive confidence-guided optimization 用分组预测熵构建层级奖励，可应用于多步推理或交互式推荐，对中间状态逐层优化置信度，提升最终输出稳定性。
- retrieve-and-internalize 方式比将检索证据直接拼接到上下文更节省 KV cache，适合长视频/直播理解、多轮对话 Agent 等需持续累积历史的在线场景。
流式视频情感理解的轨迹感知可靠性框架
🧭 流式多模态情感计算 · 可靠性门控
Zhejiang University · Ant Group · School of Software Technology (Ningbo), Zhejiang University
提出轨迹感知可靠性框架 TRACE，基于流式信念的稳定性与切换模式选择性调用多模态重推理，优化在线情感理解的准确率-成本权衡
📌 工作参考价值（4 点）
- 在线推荐/排序场景中，用户行为流式到达，可借鉴 TRACE 的轨迹稳定性信号：不仅看当前预测置信度，还监控近期预测分布的熵、类切换频率，当轨迹不稳定时触发重排或调用更重模型。
- 将系统拆成低延迟主路径与高成本上下文重推理路径，通过可靠性分数做门控，能有效平衡实时性与准确性，适合广告/搜索中延迟敏感但需质量保障的模块。
- 对 LLM Agent 或 RAG 流程，在对话/推理中间步骤记录 belief 轨迹（如生成候选答案的分布），若检测到频繁切换则触发工具调用、检索或重新推理，避免过早 commit。
- 可靠性估计不必依赖额外标签，可从置信度、熵、稳定性等无监督信号合成，落地成本低，适合快速实验。
MOSS-VL 技术报告：面向实时交互的视觉语言模型
🧭 多模态实时交互模型
Fudan University
开源视觉语言模型 MOSS-VL 通过门控交叉注意力实现边看边说，实时主动交互能力领先
📌 工作参考价值（4 点）
- 架构借鉴：将视觉 token 移出解码序列，仅通过门控交叉注意力注入视觉信息，可显著降低首 token 延迟，适合电商直播助手的实时交互场景
- 训练策略：合成交互语料库显式监督模型何时发言、何时沉默、何时修正，可借鉴用于训练主动提醒型电商客服或直播导购 Agent
- 课程学习：实时特定训练集中在轻量最终阶段，避免破坏离线基础能力，可用于多模态模型增量训练，降低工程成本
- 主动行为：在 OmniMMI Proactive Alerting 上 66.0 vs 37.5 的性能表明模型能主动捕捉关键事件，可应用于商品状态监控、用户行为异常提醒等场景
实时视觉交互模型 JoyAI-VL-Interaction：主动决定何时开口的 8B 级视觉模型
🧭 实时视觉交互模型与系统 ★ 深度解读
JD.com
首个开源、视觉驱动的 8B 交互模型，每秒自主决策沉默/响应/委派，并配有完整部署系统。
📌 工作参考价值（4 点）
- 直播电商 / 短视频场景可直接借鉴其“每秒决策”范式：模型持续观看直播画面，自主判断何时插话（如提醒主播漏讲卖点、解答观众疑问），而非被动等待提问。
- 委派（delegate）机制适合复杂任务卸载：当需要生成商品详情页 HTML 或调用知识库时，模型可暂停实时应答，将任务异步交给后端大模型或 Agent，保持对用户的实时存在感。
- AdaCodec 视频压缩策略（对可预测帧仅用约 16 个 token）大幅降低长流推理成本，适合需要连续观看监控或直播的电商 AI 助手，降低部署门槛。
- 分层记忆设计（短期缓冲 + 中期文本摘要 + 长期归档）与 vLLM 前缀缓存结合，实现两小时以上连续视频的亚秒级延迟，可用于需要长上下文记忆的在线导购或客服会话。